OpenAI safety employee quits, says 'time for trial and error is over'

A former OpenAI safety employee who recently resigned criticized the company's approach to AI safety, arguing that a fast-paced culture focused on rapid development increases the risk of failures. Writing in "I Quit OpenAI Because Its Culture Is Broken," published by the Atlantic on Saturday, David Robinson said AI companies, including OpenAI, were not being "nearly careful enough" and should place greater emphasis on safety expertise and research before developing more capable systems. "The time for trial and error is over," Robinson wrote, arguing that advanced AI systems require safeguards more akin to those used in industries such as nuclear power and aviation. Robinson said OpenAI relies heavily on what it calls "iterative deployment," releasing systems and strengthening safeguards when problems emerge. The comments add to a debate within the AI industry over whether companies are moving too quickly to develop increasingly powerful systems. OpenAI and rival Anthropic have faced scrutiny after incidents in which safety controls failed or experimental systems behaved unexpectedly. Robinson, who said he spent three and a half years at OpenAI, helped draft the company's preparedness framework and oversaw safety reports for 12 frontier-model launches. He wrote: "As the company sprints from one launch to the next, it is failing to achieve the level of care that I believe is needed." "We're making sure our models don't become more capable than we can safely manage and secure, and we pause training or hold back models when we need to slow down," an OpenAI spokesperson said in a statement. Robinson also warned that AI capabilities were advancing faster than researchers' understanding of alignment, a field focused on ensuring AI systems act in accordance with human goals and values.

کارمەندێکی پێشووی ئاسایشی ئۆپن ئەی ئای (OpenAI) کە بەم دواییانە دەستی لەکارکێشایەوە، ڕەخنەی لە شێوازی کارکردنی کۆمپانیاکە دەربارەی سەلامەتیی ژیریی دەستکرد گرت و گوتی کلتوورێکی خێرا کە سەرنج دەخاتە سەر گەشەپێدانی بەپەلە، مەترسیی شکستهێنانەکان زیاد دەکات. دەیڤد ڕۆبینسن (David Robinson) لە وتارێکدا بە ناونیشانی "دەستم لەکارکێشایەوە لە ئۆپن ئەی ئای چونکە کلتوورەکەی تێکچووە" کە ڕۆژی شەممە لە گۆڤاری (The Atlantic) بڵاوکرایەوە، نووسیویەتی کۆمپانیاکانی ژیریی دەستکرد، لەوانەش ئۆپن ئەی ئای، "بڕی پێویست ئاگادار نین" و دەبێت پێش گەشەپێدانی سیستەمی بەهێزتر، سەرنجی زیاتر بخەنە سەر شارەزایی و توێژینەوەکانی ئاسایش. ڕۆبینسن نووسیویەتی: "کاتی تاقیکردنەوە و هەڵە بەسەرچوو"، و جەختی کردەوە کە سیستەمە پێشکەوتووەکانی ژیریی دەستکرد پێویستیان بە ڕێکاری پاراستن هەیە هاوشێوەی ئەوانەی لە پیشەسازییەکانی وەک وزەی ئەتۆمی و فڕۆکەوانیدا بەکاردێن. ڕۆبینسن ئاماژەی بەوە دا کە ئۆپن ئەی ئای بە شێوەیەکی زۆر پشت بەوە دەبەستێت کە پێی دەڵێت "بڵاوکردنەوەی قۆناغ بە قۆناغ" (Iterative Deployment)، واتە بڵاوکردنەوەی سیستەمەکان و دواتر بەهێزکردنی ڕێکارەکانی ئاسایش کاتێک کێشەکان سەرهەڵدەدەن. ئەم لێدوانانە نیگەرانییەکانی ناو پیشەسازیی ژیریی دەستکرد زیاد دەکەن سەبارەت بەوەی ئایا کۆمپانیاکان زۆر بە خێرایی کاردەکەن بۆ گەشەپێدانی سیستەمی بەهێزتر. کۆمپانیای ئۆپن ئەی ئای و ئەنسرۆپیک (Anthropic)ی ڕکابەری ڕووبەڕووی وردبینی بوونەتەوە دوای ئەو ڕووداوانەی کە تێیاندا کۆنتڕۆڵە ئەمنییەکان شکستیان هێنا یان سیستەمە تاقیکارییەکان بە شێوازێکی نەچاوەڕوانکراو ڕەفتاریان کرد. ڕۆبینسن کە ئاماژەی بەوە کردبوو سێ ساڵ و نیوی لە ئۆپن ئەی ئای بەسەر بردووە، هاوکار بووە لە دارشتنی چوارچێوەی ئامادەکاریی کۆمپانیاکە و سەرپەرشتیی ڕاپۆرتەکانی ئاسایشی کردووە بۆ 12 چالاکی بڵاوکردنەوەی مۆدێلە پێشەنگەکان (Frontier Models). ئەو نووسیویەتی: "کاتێک کۆمپانیاکە بە خێرایی لە بڵاوکردنەوەیەکەوە بۆ بڵاوکردنەوەیەکی تر ڕادەکات، ئامادەیی ئەوەی نییە بگاتە ئەو ئاستەی پاراستن کە من پێم وایە پێویستە." وتەبێژێکی ئۆپن ئەی ئای لە ڕاگەیەندراوێکدا گوتی: "ئێمە دڵنیا دەبینەوە لەوەی مۆدێلەکانمان نابنە خاوەن توانایەک کە نەتوانین بە سەلامەتی بەڕێوەیان ببەین و ئاسایشیان بپارێزین، و لە کاتی پێویستدا ڕاهێنانەکان ڕادەگرین یان مۆدێلەکان ڕادەگرین کاتێک پێویست بە خاوکردنەوە بکات." ڕۆبینسن هەروەها ئاگاداری دا لەوەی تواناکانی ژیریی دەستکرد خێراتر لە تێگەیشتنی توێژەران بۆ "هاوتەریبکردن" (Alignment) گەشە دەکەن؛ بوارێک کە سەرنج دەخاتە سەر دڵنیابوونەوە لەوەی سیستەمەکانی ژیریی دەستکرد بەپێی ئامانج و بەهاکانی مرۆڤ کاربکەن.